AI被攻击者滥用后，是人工智能还是“人工智障”？
当我们在享受AI技术带来的便捷与高效的同时，是否考虑过技术漏洞带来的严重后果？试想如果有人恶意利用AI技术去干扰IT系统的正常工作，结果会有多可怕呢？
AI技术正在被积极应用到各行各业中，然而有研究报告警告，这种新兴技术很容易被网络犯罪分子、不法黑客所利用。
一份由学术界、社会团体以及行业人士所撰写的报告《人工智能的恶意使用（Malicious Use of Artificial Intelligence）》指出，任何科技都有其双面性，在大力发展AI技术的时候，有必要注意防止该技术被滥用的可能性。
例如，一些黑客会以领袖人物为目标，使用AI进行语音合成模拟；无人机能够被操纵使用面部识别软件，对人类目标进行识别并攻击；AI被黑客用来搜索系统漏洞、实施网络钓鱼，展开网络攻击等等。
随着AI技术的发展，未来攻击者会不断将AI技术融入到攻击活动中，AI驱动的攻击行为将越来越趋向正常化。今天我们就来聊聊，未来会出现哪些使用AI技术的攻击方式？
对抗样本攻击
在机器学习领域，有一个非常经典的“对抗样本”案例：
一张熊猫的图片，累加了一个看起来是随机噪声的图片，生成了一张新的图片。我们肉眼看起来是一模一样，但是对于AI模型来说，图片就变得不一样了，本来是熊猫，加了噪声就被识别为“长臂猿”了。
所谓“对抗样本”（adversarial examples），就是指攻击者对输入样本故意添加一些细微干扰，导致模型以高置信度给出一个错误的结果。在这种干扰下，原本精确的人工智能，瞬间就沦为“人工智障”。
试想如果有人恶意制造这样的对抗样本去挑战我们身边的AI系统，结果会有多可怕呢？
万一犯罪分子掌握了一个漏洞，在脸上点几个点，就可以把犯罪分子的脸伪装成某个人的脸，那我们的身份岂不是可以随时被冒用？犯罪分子也能够随时从面部识别模型中逃脱？
如果存在别有用心的人，将马路上的交通指示牌替换，明明是右转的标志，自动驾驶系统缺识别为直行，极其容易酿成交通事故。
除了图像领域，在语音系统上，黑客也能够通过特定的方式欺骗语音转文本系统，比如在你最喜爱的歌曲中偷偷加入一些语音指令，让智能语音助手转移你的账户余额。
此外，对抗攻击还可以欺骗GPS误导船只、误导自动驾驶车辆、修改AI驱动的导弹目标等等，对抗攻击对AI系统在关键领域的应用已经构成了真正的威胁。
更加令人担忧的是，想要防御对抗样本攻击非常困难，现阶段还没有好的策略和工具能够解决这一问题。
然而，对于攻击者来说，只需要很小的样本量就能干扰AI模型的结果。有研究表明，仅仅在二进制文件的末尾增加10kb字节，就降低了神经网络模型MalConv的精度超过50%。
因此，设计防范对抗样本的方法，以缩小设计师意图和算法行为之间的差距，成为AI防御的一个重要研究领域。
自动化决策攻击
目前，AI技术已经被用于大规模的自动化攻击。未来，AI技术或将从恶意软件的自动化攻击，进化为自动化决策，即能够根据被感染系统的参数进行智能调整、自我繁殖，攻击会变得更加静默和危险。
举个例子，假设一个蠕虫版的攻击可以理解目标的环境并选择对应的攻击技术，一旦它利用的某个漏洞被修复了，它可以转向暴力破解SMB凭证，加载Mimikatz或安装键盘记录器来获取凭证。
智能绕过
除了对环境进行适应并进行决策之外，武器化的AI还要能够发现目标的弱点，这样AI网络攻击就可以绕过检测并最大化造成的伤害。
未来，恶意软件在初始感染成功后会学习构建正常行为，它不会去猜测环境中主要使用的是Windows系统还是Linux系统，也不会去猜测使用Twitter或Instagram作为C2通信信道，而是会直接学习和理解目标网络中的通信，并融入到攻击活动或攻击模型中。
一旦进入到受感染的系统中，恶意软件还能够安全地学习系统的环境知识，比如受感染设备通信的内部设备，使用的端口和协议，以及账户信息等。因此，由智能化带来的威胁程度也将成倍增加。
low and slow 攻击
一般来说，恶意软件发展的速度要比人类响应的速度更快。因此，low and slow攻击是一种非常特殊的攻击方式，也很容易就可以绕过检测。
因为每一个动作对人类和传统安全工具来说都太小了，研究人员总结发现这类攻击场景主要出现在数据窃取中。
传统安全工具的工作方式是，判断数据包是否大于500MB，如果大于500M，标记为“可疑的”用于之后的调查。
这对攻击者来说是已知的，因此攻击者会适当的进行调整，将数据窃取的单位块变得更小，并且慢慢去窃取。数据可以通过网络发送给一个单独的C2服务器也可以发送给不同的服务器。
虽然该例子已经足够去绕过现有的安全工具，但是更加静默的数据窃取场景也是可行的。攻击者可以选择数据窃取的时间，比如在24天内一点点的窃取想要的数据。
虽然传统工具很难检测这样的low and slow数据窃取，但是攻击者使用AI技术来理解了目标环境后这种检测会变得更难。
恶意软件不会再使用硬编码的数据量阀值，而可以基于使用的网络带宽进行动态的调整。比如之前是每2小时发送20KB数据，现在就可以在用户看视频等使用带宽较大的时候选择进行视频发送大量数据。
如果视频会议是目标企业常用的外部通信方法，那么恶意软件就可以使用视频会议系统进行数据窃取，这样就将攻击融入到正常的企业活动中了。
从以上攻击趋势可以看到，随着未来AI攻击技术的不断进化，如何让IT系统具备高效防御AI攻击能力，成了迫在眉睫的难题。
道高一尺，魔高一丈，其实从来就没有100%的安全，攻击有时候只是成本问题。基于现状，企业能做的有两点：
一是密切关注该领域的发展动向，加大AI网络安全的投入力度；二是做好针对此类攻击的风险控制，采用业界推荐的安全最佳实践。
相关阅读
【科技云报道原创】
转载请注明“科技云报道”并附本文链接